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(§3) Anzeigesystem zur Verbesserung der Darstellung von Korperstrukturen wahrend medizinischer Verfahren 

(g) Ein interaktlves Anzeigesystem uberlagert Bildor von 
inneren Strukturen auf einer halbtransparenten Bilschirmein- 
richtung, durch die ein Chirurg einen Patienten wahrend 
eines medizinischan Verfahrens sieht. Das uberlagerte Bild 
wird aus Abbildungsdaten abgeleitet, die mittets eines 
Abbildungasystems erhatten warden. Eine eindringende Ein- 
richtung wird auch nachgefuhrt und auf der halbtransparen- 
ten Bildschirmeinrichtung angezeigt. Ein von der eindringen- 
den Einrichtung aysgehender Strahl, der den beabstchtigten 
Pfad der eindringenden Einrichtung zetgt, kann auch ange- 
zeigt warden. Das Bild wird mit der Ansicht des Chirurgen in 
Obereinstimmung gebracht und in Echtzeit wahrend des 
medizinischan Verfahrens angezeigt. Dies ermoglicht dem 
Chirurgen innere und aufiere Strukturen, die Beziehung 
zwischen ihnen, und den vorgeschlagenen Pfad der eindrin- - 
■ gendan Einrichtung zu sehen und das Verfahren dement- 
sprechend anzupassen. Ein zweites Ausfuhrungsbeispial 
verwendet stereoskopische Ansichtsverfahren zum Erzeu- 
gen dreidimensionaler Darstellungen der radiologischen 
Bilder, die auf der halbtransparenten Bildschirmeinrichtung, 
durch die der Chirurg den Patienten sieht. uberlagert sind. 
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Beschreibung 

Die vorliegende Erfindung bezieht sich auf ein Sy- 
stem zur Unterstiitzung eines Arztes, wie beispielsweise 
eines Chirurgen, bei der Darstellung anatomischer 
Strukturen wahrend medizinischer Verfahren und, ins- 
besondere auf ein System, das dem Am ermoglicht, in 
Echtzeit sowohl innere als auch auflere anatomische 
Strukturen zu sehen. 

Derzeit sehen Arzte wahrend eines chirurgischen 
Eingriffs und anderen medizinischer Verfahren, wie bei- 
spielsweise der Endoskopie, Biopsie und Implantation, 
zahlreiche statische Rdntgenansichten des Patienten im 
OperationssaaL Typischerweise sind dies Transparent- 
film- Wiedergaben von Magnetresonanz (MR)-, Compu- 
ter-Tomographie (CT>, herkdmmlichen Roentgen- oder 
Ultraschali-Bildern. Da diese Bilder zweidimensionale 
statische Bilder sind, mOssen die Arzte die augenblickii- 
che dreidimensionale (3D) Anordnung und Form der 
inneren Strukturen innerhalb des Patienten aus den 
zweidimensionalen (2D) Bildern, die sie sehen, bestim- 
meoL Der Arzt konstruiert entwurfsmaBig ein dreidi- 
mensionales (3D) Modell der inneren Strukturen und 
bringt die inneren Strukturen in Verbindung mit sicht- 
baren auBeren Strukturen des Patienten, wo geschnitten 
werden muB. Dies ist haufig schwierig, da der MaBstab 
und die Orientierung des zweidimensionalen (2D) Bildes 
von dem, was der Chirurg sieht, abweichen kdnnen und 
der Chirurg nicht in der Lage sein kann, sowohl den 
Patienten als auch die medizinischen Diagnosebilder 
gleichzeitig zu sehen. 

Eine andere fiir die Lokalisierung innerer Strukturen 
wahrend eines chirurgischen Eingriffs verwendete 
Technik ist als stereotaktische Chirurgie bekannt, wie 
sie in "Interactive Stereotactic Surgical System for the 
Removal of Intracranial Tumors Utilizing the C0 2 Laser 
and CT-Derived Database" von BA. Kali, PJ. Kelly und 
S.J. Goerss in IEEE Transactions on Biomedical Engi- 
neering, Vol BME-32, Nr. 2, S. 112—116, 1985, und in 
"Comprehensive Computer-Assisted Data Collection 
Treatment Planning and Interactive Surgery" von BA. 
Kail, PJ. Kelly und SJ. Goerss in Medical Imaging, Vol 
767, S. 509—514, 1987, beschrieben wurde. Bei diesem 
Verfahren wird vor einem Computer-Tomographie 
(CI)- oder Magnetresonanz- Verfahren ein starrer me- 
chanischer Rahmen am Patienten befestigt Der Rah- 
men und seine Orientierungspunkte kdnnen auf den sich 
ergebenden Bildern gesehen werden. Mechanismen auf 
dem Rahmen Positionieren eine Sonde bzw. einen MeB- 
fQhler an einem speziellen Ort innerhalb des Bilds. Der 
Nachteil dieses Verfahrens liegt darin, daB der Rahmen 
den Zugang zum Patienten beschrankt und die Bilder 
statische Bilder sind, die dem Patienten nicht folgen, 

wenn er sich wahrend des chirurgischen Eingriffs be- 
wegt 

Eine dritte Mr die Lokalisierung innerer Strukturen 
verwendete Technik ist in "A Frameless Stereotaxic 
Operating Microscope for Neurosurgery" von EM. 
Friets, J.W. Strohbehn, JJF. Hatch und D.W. Roberts in 
IEEE Transactions on Biomedical Engineering, VoL 36, 
Nr. 6, S. 608—617, Juni 1989, beschrieben. 

Dreidimensionale Modelle von anatomischen Struk- 
turen kdnnen aus Daten von verschiedenen medizini- 
schen Abbildungsanwendungen, wie in den Schriften 
EP-A-0 629 693, WO-A-94/24631, EP-A-0 549 189 und 
EP-A-0 549 182 beschrieben, erzeugt werden. Diese 
Schriften beschreiben die Erzeugung und Manipulation 
von Modellen innerer Strukturen von Patienten und die 



Herstellung von Bildern «ausgewahlter Strukturen mit 
gewQnschten Ausrichtungen zu einem Benutzer. Dies 
ermoglicht die Darstellung von inneren Strukturen als 
raumliche Modelle. 
5 Gegenwartig besteht ein Bedarf nach einem System 
zur Unterstiitzung von Arzten bei chirurgischen Ein- 
griffen und anderen medizinischen Verfahren, das im 
Dialogbetrieb computererzeugte Darstellungen von in- 
neren Strukturen in richtiger Beziehung zu auBeren 
io Strukturen des Patienten anzeigt imd die Darstellung 
von augenblicklichen und hypothetischen Wegen von 
eindringenden Vorrichtungen erlaubt 

Eine Aufgabe der vorliegenden Erfindung besteht 
darin, ein System zu schaffen, das bei chirurgischen Ein- 
15 griffen hilft, indem gleichzeitig ein Bild von inneren 
Strukturen auBeren Strukturen uberlagert wird, auch, 
wenn die Patienten ihre Position verandern oder wenn 
die Bediener ihren Ansichtwinkel andern. 

Eine weitere Aufgabe der vorliegenden Erfindung be- 
20 steht darin, ein Dialog- bzw. interaktives System zu 
schaffen, das die gewQnschten inneren Strukturen auf 
auBeren Strukturen anzeigt, wobei diese denselben 
MaBstab besitzen und aus denselben Orientierungswin- 
keln betrachtet werden. 
25 Eine weitere Aufgabe der vorliegenden Erfindung be- 
steht darin, fOr einen Chirurgen eine "am Kopf befestig- 
bare" bzw. "heads up" Anzeige von Rontgenbildern zu 
schaffen, die auBeren Strukturen eines Patienten inner- 
halb seines Blickfelds aberlagert sind, ohne die Verwen- 
30 dung eines hinderlichen Kopfgestells. 

Eine weitere Aufgabe der vorliegenden Erfindung be- 
steht darin, ein Anzeigesystem zu schaffen, das mit einer 
eindringenden Einrichtung integriert ist, urn eine Dar- 
stellung der eindringenden Einrichtung relativ zu inne- 
35 ren 3trukturen des Objekts zu bilden. 

Eine Echtzeit-Operationseinrichtung zur Anzeige in- 
teraktiver innerer und auBerer Bilder eines Patienten 
verwendet eine halbtransparente Anzeigebildschirm- 
einrichtung, der dem Bediener ermoglicht, gleichzeitig 
40 freigelegte Oberflachen und Computererzeugte Bilder 
von inneren Strukturen eines Patienten zu sehen. Ein 
Symbol, das eine eindringende Einrichtung darstellt, ist 
dem computererzeugten Bild an einem Ort uberlagert, 
der in Bezug auf die inneren und auBeren Strukturen 
45 richtig angezeigt wird. 

Eine medizinische Abbildungseinrichtung oder ein 
Computerunterstutztes Entwicklungs-System (compu- 
ter-aided design (CAD)-System) erzeugt dreidimensio- 
nale (3D) Abbildungsdaten von inneren Strukturen des 
so Patienten fiir einen Arbeitsplatz bzw. eine Workstation. 
Die dreidimensionale Position und Ausrichtung des Pa- 
tienten, die halbtransparente Bildschirmeinrichtung, das 

Auge des Bedieners und eine eindringende Einrichtung, 

die in den Patienten eingefiihrt werden soli, werden in 
55 Echtzeit dargestellt Die Workstation erzeugt dreidi- 
mensionale (3D) computererzeugte Modelle von inne- 
ren Strukturen der Patienten, die ohne einen weiteren 
Bedarf . an der medizinischen Abbildungsvorrichtung 
verandert werden kdnnen. Zweidimensionale (2D) com- 
60 putererzeugte Bilder von den Modellen werden im Dia- 
logbetrieb bzw. interaktiv ausgerichtet und im MaBstab 
angepaBt, so daB ihre Anzeige auf einer halbtransparen- 
ten Anzeigeeinrichtung mit dem visuellen Bild des Be- 
dieners vom Patienten durch die halbtransparente Bild- 
65 schirmeinrichtung zusammenfallt 

Die fiir neu gehaltenen Merkmale der Erfindung sind 
insbesondere in den Anspruchen angegeben. Die Erfin- 
dung selbst jedoch, sowohl die Anordnung als auch das 
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Betriebsverfahreo, zusammen mit weiteren Aufgaben mensionalen (3D) volumetrischen Daten, die sie emp- 
und Vorteilen kdnrien am besten unter Bezugnahme auf fangt, und erzeugt ausgewahlte Wiedergaben der Da- 
die folgende Beschreibung in Verbindung mit der Zeich- ten. Ein Wiedergabe- Verf ahren bestimmt Fiachen zwi- 
nung verstanden werden. schen verschiedenen Arten von Gewebe. Dann wird die 

Eszeigen: 5 Verbindbarkeit von ahnlichen Arten von zueinander be- 

Fig. 1 ein vereinfachtes Blpckschaltbild eines ersten nachbartenv Gewebe bestimmt Eine Unterscheidung 

Ausf iihrungsbeispiels einer erfindungsgemaBen medizi- von Gewebearten aus der Natur des Signals in den drei- 

nischen Ahzeigevorrichtung, und dimensionalen Bilddaten ist als Gliederung bzw. Seg- 

Fig. 2 ein vereinfachtes Blockschaltbild eines zweiten mentation bekannt Wenn die dreidimensionalen (3D) 

Ausf iihrungsbeispiels einer erfindungsgemaBen niedizi- to volumetrischen Daten in innere Strukturen gegliedert 

nischen Anzeigeeinrichtung. bzw. segmentiert wurden, kann jede innere Struktur 

In Fig. 1 wird ein Objekt oder ein Patient 1, bei dem durch die Modell- Workstation 100 als ein separates fe- 
ein medizinisches Verf ahren, wie beispielsweise ein chi- stes Objekt behandelt werden. Die Modell- Workstation 
rurgischer Eingriff, durchgefGhrt wird, mittels einer me- 100 besitzt die Fahigkeit, gewiinschte innere Strukturen, 
dizinischen Abbildungseinrichtung 10 abgetastet, die ei- 15 FarbverschlQsseluhgsstrukturen ausgewahlt anzuzeigen 
ne Magnetresonanz (MRjhAbbildungseinrichtung, eine und innere Strukturen abzutrennen, zu drehen und urn- 
Computer- Axiale-Tomographie (CAT)-Einrichtung, ei- zuwandeln, um diese Bilder auf eine gewiinschte Weise 
ne Positronen-Emissions-Tomographie (PET> oder ei- zu manipulieren, um eirte Darstellung fOr eine mit einem 
ne ahnliche Abbildungseinrichtung sein kann, die fahig Bediener arbeitende Modell- Workstation 100 zu bilden. 
ist, mehrdimensibnale volumetrische Daten, wie bei- 20 Ein alternatives Wiedergabe-Verfahreh erzeugt zweidi- 
spielsweise dreidimensioriale (3D)-Daten, aus inneren mensionale Projektionen von ausgewahlten Merkmalen 
Strukturen des Patienten 1 zu erzeugen. Nach der Ab- innerhalb des dreidimensionalen Datensatzes, wie es im 
bildung schafft die Abbildungseinrichtung 10 die volu- US-Patent 5 233 299, erteilt am 3. August 1993, mit dem 
metrischen Daten zu einer Modell- Workstation 100. Titel "Projection Methods for Producing Two-Dimen- 
Wenn die volumetrischen Daten erst zu der Modell- 25 sional Images from Three-Dimensional Data" von S.P. 
Workstation 100 geschafft sind, ist die Abbildungsein- Souza, W.J. Adams und CL. Dumoulin beschrieben ist 
richtung 10 nicht langer erforderlich. Dies ist wichtig, da Beispielsweise konnen zweidimensiohale Projektions- . 
einige medizinische Verf ahren nicht mit dem Patienten Angiogramme aus einem dreidimensionalen Phasen- 
innerhalb der Grenzen einer Abbildungseinrichtung kontrast oder einem Laufzeit (time-of-flight)-Magnetre- 
durchgefahrt zu werden brauchen, was, wie im FaU von 30 sonanz-Angiogramm extrahiert werden. Es sind zahlrei- 
Magnetresonanz (MR)-Abbildung, beschrSnkend sein che Projektionsalgorithmen mdglich. Diese enthalten 
kann. In alternativen Ausfiihrungsbeispielen kann die die Erfassung der maximalen Pbcelintensitat entlang ei- 
Abbildungseinrichtung 10 im Dialogbetrieb bzw. inter- nes ausgewahlten Projektionsstrahls durch die dreidi- 
aktiv wahrend dem medizinischen Verfahren verwendet mensionalen Daten, die Bestimmung der mittleren, Pi- 
werden. Die Modell- Workstation 100 speichert die vo- 35 xelintensitat eines ausgewahlten Projektionsstrahls und 
lumetrischen Daten und erzeugt aus den Daten compu- die Bestimmung der Standardabweichung aller Pbcel 
tererzeugte Modelle, die im M^Bstab verandert, gedreht entlang einem ausgewahlten ProjektionsstrahL 
oder anders verandert werden konnen, ohne die Abbil- Die Modell- Workstation 100 empfangt Eingabedaten - 
dungseinrichtung 10 weiter zu erfordern. von einer Workstation- Ansichtseingabeeinrichtung 60 

Ein Bediener 350, wie beispielsweise ein Arzt oder ein 40 und von der NachfUhreinrichtung 50^ die der Position 
medizinscher Assistent beobachtet den Patienten 1. Ei- und Ausrichtung folgt, um die Ausrichtung fiir die An- 
ne halbtransparente Bildschirmeinrichtung 250 ist zwi- zeige innerer Strukturen des Patienten 1 auszuwahlen. 
schen dem Patienten 1 und dem Bediener 350 angeord- Die Workstation- Ansichtseingabeeinrichtung 60 kann 
net Eine Nachftihreinrichtung 50, die den Bediener, die eine Computer-Zeigeeinrichtung, wie beispielsweise ein 
halbtransparente Bildschirmeinrichtung 250 und den 45 Handroller bzw. eine Haus oder eine Rollkugel bzw. ein 
Patienten 1 iiberwacht und verfolgt, bestimmt die Loka- Trackball, sein oder irgendeine Eingabeeinrichtung, die 
Iisieruhg und Ausrichtung mit Winkel a, Teilung 0 und Ebenen, in denen die Bilder zu schneiden sind und einen 
Abweichung O der Bedieners 350, des Objekts 1, der Ansichtswinkel und einen Mafistab angibt Die Modell- 
halbtransparenten Bildschirmeinrichtung 250 und der Workstation 100 syrithetisiert ein dialogmaBiges bzw. 
eindringenden Einrichtung 3. Die Nachf tthreinrichtung 50 interaktives computererzeugtes Bild innerer Strukturen 
50 kann eine Nachfuhreinrichtung mit 6 Freiheitsgraden eines Patienten 1, die mit der vom Bediener 350 gesehe- 
sein, wie in 'The Flock of Birds" Installation and Opera- nen Echtzeit-Szene zusammenfallen. Eine Symbol-Er- 
tion Guide, Ascension Technology Corporation, 5. Juli zeugungseinrichtung 5 erzeugt ein Symbol, das die Posi- 
1992, in der Einleitung S. 1 — 3, im Anhang 1, S. 89 und in tion und Ausrichtung der eindringenden Einrichtung 3 
Anhang 3, S. 93, beschrieben. 55 anzeigt Optional kann ein sich von der eindringenden 

Es wird angenommen, daB sich der Patient 1 am Ur- Einrichtung 3 erstreckender Strahl gezeichnet werden, 

sprung des karthesischen Koordinatensystems (x, y, z) der den gegeriwartigen Pfad der eindringenden Einrich- 

« (0, 0, 0) befindet, und daher alle Lokalisierungen rela- tung 3 anzeigt 

tiv zum Patienten einfach die (x, y, z)-Lokalisierungen Das interaktive computererzeugte Bild kann aus ei- 

sind. Die Lokalisierung und Ausrichtung des Patienten 60 nem Computermonitorsignal, wie beispielsweise einem 

1, der halbtransparenten Bildschirmeinrichtung 250 und RGB-Computermonitorsignal, in ein Videoformat um- 

des Bedieners 350 wird durch die Nachftihreinrichtung gewandelt werden, indem es einen Abtastumwandler 

50 im Dialogbetrieb bzw. interaktiv zu der Modell- 192 (gestrichelt dargestellt) passiert, abhangig vom er- 

Workstation 100 zugefUhrt Die Lokalisierung und Aus- forderlichen Anzeigeformat des halbtransparenten 

richtung kann in verschiedenen Ausf Qhrungsbeispielen 65 Bildschirms 250. Das computererzeugte Bild 250 wird 

auch manuell zu der(den) Workstation(s) zugefuhrt wer- auf der halbtransparenten Bildschirmeinrichtung 250 

den, gebildet, die zwischen dem Patienten und dem Bediener 

Die Modell- Workstation 100 verarbeitet die dreidi- 350 angeordnet ist Die halbtransparente Bildschirmein- 



DE 195 

5 

richtung 250 bildet eine gewtoschte Mischung auBerer 
Strukturen des durch den Bediener gesehenen Patien- 
ten 1 undoes computererzeugten Bilds von der Modell- 
Workstation 100. Die halbtransparente Bildschirmein- 
richtung 250 kann Eingabesignale vom Bediener emp- 
fangen, beispielsweise Qber die Workstation-Ansichts- 
eingabeeinrichtung 60. Dies kann den Grad von Trans- 
parenz fur jedes Bild oder irgendeinen anderen von 
zahlreichen Spezialeffekten umfassen. Ein sehr nutzli- 
cher Spezialeffekt ist ein bewegliches Fenster mit 0% 
Transparenz (100% Undurchsichtigkeit), das einem an- 
deren Bild uberlagert ist Wenn das Fensterbild auBeren 
Strukturen uberlagerte innere Strukturen darstellt, er- 
zeugt es die Illusion, daB aufiere Strukturen innerhalb 
des Fensters weggeschnitten sind und legt die darunter- 
liegenden inneren Strukturen offen. Andere herkdmmli- 
che Videp-Spezialef fekte kdnnen auch verwendet wer- 
den. Die halbtransparente Bildschirmeinrichtung 250 er- 
moglicht dem Bediener 350 sowohl innere als auch au- 
Bere Strukturen gleichzeitig darzustelleiL Die sich erge- 
bende vom Bediener 350 beobachtete Szene ist ein dia- 
logmaBiges bzw. interaktives Echtzeitbild des Patienten 
1, auch, wenn sich der Patient wahrend des medizini- 
schen Verfahrens bewegt Da innere Strukturen und 
ihre Beziehung zu offenliegenden auBeren Strukturen 
gleichzeitig angezeigt werden, wird ein Chirurg, der die 
vorliegende Erfindung verwendet, eine sehr genaue An- 
zeige wahrnehmen, wo er durch auBere Strukturen 
schneiden sollte, urn bei einer gewOnschten inneren 
Struktur anzukommen, wobei wichtige innere Struktu- 
ren gemieden werden. 

Fig. 2 veranschaulicht ein alternatives Aiisfuhrungs- 
beispiel der vorliegenden Erfindung, bei dem der Bedie- 
ner 350 eine stereoskopische Ansicht von inneren und 
auBeren Strukturen eines Patienten 1 empfangt Jedes 
der Augen des Bedieners 350 unterscheidet sich vonein- 
ander in seiner Ausrich tung in Bezug auf den Patienten, 
so daB jedes Auge eine verschiedene Ansicht erhalt Die 
Nachfuhrvorrichtung 50 ftihrt die Lokalisierung (x», y lt 
zi) und Ausrichtungswinkel (ai, Oi, 8i) eines ersten und 
zweiten Auges des Bedieners 350, des Patienten 1, der 
halbtransparenten Bildschirmeinrichtung 250 und der 
eindringenden Einrichtung 3 nach. Die Lokalisierung 
und Ausrichtung des zweiten Auges des Bedieners kann 
unabhangig von der Nachf tihreinrichtung 50 gemessen 
werden, oder die Lokalisierung und Ausrichtung des 
ersten Auges kann verwendet werden, urn die Lokalisie- 
rung und Ausrichtung des zweiten Auges zu berechnen. 
Die Lokalisierungen und Ausrichtungen werden einer 
ersten Modell- Workstation 100a zugefuhrt bzw. einer 
zweiten Modell- Workstation 100b, die ein rechtes bzw. 
ein linkes Computergraphik-Bild an den Lokalisierun- 
gen (xi, yi, zi), (xz, y2, z 2 ) bzw. Ausrichtungen (cti, d>u 8i) 
(<*2, 02, 82) entsprechend den Ansichten von jedem Auge 
des Bedieners 350 erzeugen. 

Eine Symbolerzeugungseinrichtung 5 empfangt die 
Position und Ausrichtung der eindringenden Einrich- 
tung 3 und zeigt ein Symbol an der richtigen Position 
und Ausrichtung auf der halbtransparenten Bildschirm- 
einrichtung 250 an. Das Symbol kann durch einen Strahl 
erweitert werden, der den vorgeschlagenen Pfad der 
eindringenden Einrichtung 3 anzeigt Steuersignale von 
der Workstation-Ansichtseingabeeinrichtung 60 und 
der Abbildungseinrichtung 10 kdnnen zur ersten Mo- 
dell- Workstation 100a gesendet werden, die aufeinan- 
derfolgend die Steuersignale zur zweiten Modell- Work- 
station 100b uber den Kommunkationspfad 140 ausbrei- 
tet, oder altemativ kdnnen die Steuersignale direkt zu 
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beiden Modell- Workstations gesendet werden. 

Das linke und das rechte computererzeugte Bild, die 
zu einer rechten bzw. einer linken Ansicht gehdren, wer- 
den in ein Videoformat umgewandelt, wenn es fur die 
5 halbtransparente Bildschirmeinrichtung 250 erforder- 
lich ist Dies wird durch Abtastumwandler 192a, 192b 
(gestrichelt dargestellt) erreicht die die umgewandelten 
computererzeugten Signale zu einer Ablaufsteuerein- 
richtung 198 durchlassen. Die Ablaufsteuereinrichtung 
10 198 kann eine herkommliche Videoablaufsteuereinrich- 
tung sein, wie in "Portable, Low Cost Devices for Video- 
taping, Editing and Displaying Field Sequential Stereos- 
copic Motion Pictures and Video" von H. Starks, in Ste- 
roscopic Displays and Applications Proa SPIE VoL 
15 1256,S.266-271,1990,beschrieben. 

Die Ablaufsteuereinrichtung 198 laBt das linke com- 
putererzeugte Bild zur halbtransparenten Bildschirm- 
einrichtung 250 durch. 

Dann laBt die Ablaufsteuereinrichtung das rechte 
20 computererzeugte Bild zur halbtransparenten Bild- 
schirmeinrichtung 250 durch. Die Ablaufsteuereinrich- 
tung 198 wechselt synchronisiert viele Male pro Sekun- 
de zwischen rechten und linken Ansichten. 

Das auf der halbtransparenten BUdschirmeinrichtung 
25 250 angezeigte Bild ist zeitlich vervielfacht bzw. time 
multiplexed, um abwechselnd ein Bild fQr das linke Auge 
und das rechte Auge des Bedieners zu erzeugen. Eine 
stereoskopische Betrachtungseinrichtung 252 ist mit ei- 
ner Ablaufsteuereinrichtung 198 synchronisiert und 
30 dient dazu, die Sicht vom linken oder rechten Auge des 
Bedieners zu blockieren, um dem entgegengesetzten 
Auge zu ermdglichen, das Bild auf der halbtransparen- 
ten Bildschirmeinrichtung 250 fur einen Augenblick zu 
sehen und umgekehrt 
35 Dies ermdglicht dem Bediener in schneller Aufeinan- 
derfolge, das linke Bild mit dem linken Auge zu sehen, 
wahrend das rechts Auge nichts sieht, und das rechte 
Bild mit dem rechten Auge zu sehen, wahrend das linke 
Auge nichts sieht Dies erzeugt einen stereoskopischen 
40 Eindruck, indem die Tiefendimensions-Wahrnehmung 
bei der Betrachtung des auf der halbtransparenten Bild- 
schirmeinrichtung 250 angezeigten Bilds hinzukommt 
Die Tiefenwahrnehmung ist bei chirurgischen Eingrif- 
fen sehr wertvoll, da sie eine Dimension hinzuf ugt, die 
45 bei der visuellen Lokalisierung von Strukturen hilfreich 
ist, was insbesondere bei komplexen, feinen chirurgi- 
schen Eingriffen wichtig ist 

Ffir beide Ausfiihrungsbeispiele der Erfindung muB 
sich das Computerbild mit den auBeren Strukturen, wie 
50 sie der Bediener 350 sieht, decken (mit ihnen zusammen- 
fallen). Eine Initialisierung kann durch eine manuelle 
Eingabe von dem Bediener, das (die) computererzeug- 
ten) Bild(er) zu rotieren, zu flbertragen und den MaB- 
stab anzupassen, bis sie mit der durch die halbtranspa- 
55 rente Bildschirmeinrichtung beobachteten Szene zu- 
sammenfallen, oder durch Verwendung einer Nachfuhr- 
einrichtung 50 zum Einstellen von Anfangsparametern 
erreicht werden. 
Wenn einmal das dreidimensionale (3D) Modell und 
60 das visuelle Bild des Patienten 1 ausgerichtet sind, halt 
die Nachf uhreinrichtung 50 die Ansichtswinkel und den 
Ansichtsbereich gleich. Dies ermdglicht eine dialogma- 
Bige bzw. interaktive Synchronisierung in Echtzeit zwi- 
schen der Bedieneransicht des Patienten 1 und dem(den) 
65 computererzeugten Bild(ern). 

Da das Bild jeder inneren Struktur in etwas aufgeteilt 
werden kann, das einem festen Objekt ahnelt, kann es 
wie ein festes Objekt manipuliert werden. lm Fall von 
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Strukturen eines (Patienton kann ein Chirurg Daten vom schirmeinrichtung 250 aus einem Material besteht, das 

Patienten durch medizinische Abbildung erfassen, dann eine beschreibbare Oberflache besitzt, kdnnte der Be- 

den chirurgischen Eingriff mittels Manipulation der Mo- diener einen Tintenstift verwenden, urn interessierende 

delle zum Planen eines gewtinschten Ergebnisses vor Bereiche nachzuziehen oder mit Bemerkungen zu ver- 

dem chirurgischen Eingriff planen. Dies ist ebenso bei 5 sehen (z. B. die Lokalisierung eines Einschnitts), die fur 

komplexer wiederherstellender Chirurgie. Wenn einmal andere in der Nahe sichtbar sind. 

der Plan bestimmt ist, kann ei* gespeichert und wahrend Eine andere Verwendung der vorliegenden Erfin- 

des chirurgischen Eingriffs wieder abgespielt werden. dung, die nicht mit einer kopfmontierten Anzeige mog- 

Die Bilder der inneren Strukturen sind im Dialogbetrieb lich sein wiirde, ist die Verwendung der Position und 

bzw. interaktiv ausgerichtet und im MaBstab angepaBt, 10 Ausrichtung der Anzeigebildschirmeinrichtung zum Be- 

um mit dem aktuellen Patienten zusammenzuf alien. stimmen des auf dem Bildschirmeinrichtung dargesteil- 

Ein Benutzer verwendet eine Workstation- Ansichts- ten Bilds. Die Eingabeeinrichtung 60 kann dann verwen- 
eingabeeinrichtung 60 entsprechend den Fig- 1 bzw. 2, det werden, um die Tiefe der Bildebene innerhalb des 

um Ebenen auszuwahlen, in denen die Strukturen im Patienten anzupassen. Dies kann daher verwendet wer- 

Modell durchzuschneiden sind, um die dreidimensiona- 15 den, um den Patienten zur Beobachtung innerer Struk- 

le-Ausrichtung des Modells auszuwahlen und um Bild- turen abzutasten und festzustellen, ob der vorgeschla- 

schirmschnittebenen auszuwahlen, die einen. Worksta- gene Pfad fiir die eindringende Einrichtung korrekt ist 

tion-Ansichtsbereich definieren. Die Modell- Worksta- Optional wird eine eindringende Positionierungsein- 

tion kann eine Begrenzerschaltungseinrichtung enthal- richtung 9 zum System hinzugefQgt, die die eindringen- 

ten, um Punkte innerhalb der Modellschnittebenen zu 20 de Einrichtung halt Diese wird auch durch die Nach- 

bestimmen, eine Drehschaltungseinrichtung zum Rotie- fiihreinrichtung 50 nachgefOhrt, so daB die Position und 

ren von Punkten und Einheitsvektoren, eine Segmentie- Ausrichtung der eindringenden Einrichtung bepbaclitet 

rungs- Verarbeitungseinrichtung und eine Schraffur- und der (den) Modell- Workstations) zugefQhrt wird 

schaltungseinrichtung, die auf der Grundlage der Aus- Bevorzugte Punkte zum Nachfuhren sind der Endpunkt 

richtung des Einheitsvektors an jedem Punkt eine 25 und zumindest ein anderer Purikt der eindringenden Po- 

Schraffur bestimmt Zusatziich kann eine Bildschirmein- sitionierungseinrichtung 9, um die Ausrichtung zusam- 

richtung-Begrenzer-Schaltungseinrichtimg verwendet men mit der Position der eindringenden Einrichtung zu 

werden, um Punkte innerhalb eines Bereichs zu bestim- bestimmen. 

men, der durch die Bildschirmschnittebenen definiert ist Wahrend zahlreiche augenblicklich bevorzugte Aus- 

Die Model!- Workstation kann auch eine Anzeigeschal- 30 fUhrungsbeispiele des neuen Darstellungssystems im 

tungseinrichtung enthalten, um Videosignale zu erzeu- vorstehenden detailliert beschrieben wurden, sind fQr 

gen, die, wenn sie sich zu einer geeigneten Anzeigeein- den Fachmann zahlreiche Modifizierungen und Veran- 

richtung ausbreiten, Bilder von zahlreichen Fiachen er- derungen offensichtlich. Es ist daher verstandlich, daB 

zeugen, die innerhalb des gewQnschten Anzeigebereichs die Erfindung nur durch den Schutzbereich der Ansprii- 

oder der Bildschirmschnittebenen liegen. 35 che festgelegt ist 

Bei einer drastischen Operation, wie einem entf ernen- Ein interaktives Anzeigesystem iiberlagert Bilder von 

den chirurgischen Eingriff oder massiven Traumaf alien inneren Strukturen auf einer halbtransparenten Bild- 

gibt es wenig Struktur, die zur korrekten Feststellung, schirmeinrichtung, durch die ein Chirurg einen Patien- 

wie eine normale Struktur sein sollte, verwendet wer- ten wahrend eines medizinischen Verfahrens sieht. Das 

den kann. In diesen Fallen kann eine zusatzliche Modell- 40 uberlagerte Bild wird aus Abbildungsdaten abgeleitet, 

Workstation ein Modell von normalen Strukturen ge- die mittels eines Abbildungssystems erhalten werden. 

speichert haben, das mit den anderen angezeigten Bil- Eine eindringende Einrichtung wird auch nachgefuhrt 

dern gemischt werden kann, um als ein Fuhrer bei der und auf der halbtransparenten Bildschirmeinrichtung 

Wiederherstellungschirurgiezudienen. Dies kann durch angezeigt Ein von der eindringenden Einrichtung aus- 

zusatzliche Workstations oder Modell- Manupuiations- 45 gehender Strahl, der den beabsichtigten Pfad der ein- 

tafeln durchgef tthrt werden. dringenden Einrichtung zeigt, kann auch angezeigt wer- 

In den vorliegenden Ausfilhrungsbeispieien der Erf in- den. Das Bild wird mit der Ansicht des Chirurgen in 

dung ist die haibtransparente Bildschirmeinrichtung 250 Obereinstimmung gebracht und in Echtzeit wahrend 

zwischen dem Bediener 350 und dem Patienten i ange- des medizinischen Verfahrens angezeigt Dies ermdg- 

ordnet Die Bildschirmeinrichtung 250 kann aus einer 50 licht dem Chirurgen innere und auBere Strukturen, die 

FlQssigkristallanzeigeeinrichtung bestehen oder einen Beziehung zwischen ihnen, und den vorgeschlagenen 

teilversilberten Spiegel enthalten, der ein Bild von ei- Pfad der eindringenden Einrichtung zu sehen und das 

nem Videomonitor reflektiert Die haibtransparente Verfahren dementsprechend anzupassen. Ein zweites 

Anzeigeeinrichtung 250 kann als eine relativ groBe Ein- AusfQhrungsbeispiel verwendet stereoskopische An- 

richtung mit Abmessungen ungef ahr gleich denen des 55 sichtsverf ahren zum Erzeugen dreidimensionaler Dar- 

interessierenden Bereichs des Patienten 1 bestehen oder stellungen der radiologischeh Bilder, die auf der halb- 

alternativ kleine Abmessungen haben und relativ nahe transparenten Bildschirmeinrichtung, durch die der Chi- 

am Auge des Bedieners angeordnet sein, beispielsweise rurg den Patienten sieht, iiberlagert sind. 
in einem Kopfrahmen (head gear) oder einem Augen- 

aufsatz (eye wear) enthalten sein. 60 Patentanspriiche 

In einem AusfQhrungsbeispiel der vorliegenden Erfin- 
dung ist die haibtransparente Bildschirmeinrichtung 250 1. Medizinische Echtzeiteinrichtung zum Anzeigen 
an einem beweglichen Arm 7 befestigt, der ermoglicht, von interaktiven Bildern von inneren Strukturen 
daB der Bildschirmeinrichtung an jedem Ort zwischen eines Patienten fQr einen Bediener zusammenfal- 
dem Patienten i und dem Bediener 350 angeordnet wer- 65 lend mit einer Ansicht des Patienten durch den Be- 
den kann. Dies* ermoglicht die Verwendung der Erfin- diener, mit: 

dung, die mit kopfmontierten Anzeigen unmoglich sein a) einer halbtransparenten Bildschirmeinrich- 

wQrde. Beispielsweise, wenn die haibtransparente Bild- tung (250) zum Anzeigen eines zugefuhrten 
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Bildes tnit einem einstellbaren Grad von 
Transparent so daB es uberlagert zu durch die 
Bildschirmeinrichtung (250) gesehenen Struk- 
turenerscheint; 

b) einem mechanischen Arm (7) zum Halten 5 
der halbtransparenten Bildschirmeinrichtung 
(250) in einer ausgewahlten Position zwischen 
dem Bediener (350) und dem Patienten (1) der- 
art, daB der Bediener (350) den Patienten (1) 
durch die halbtransparente Bildschirmeinrich- 10 
tung (350) sehen kann; 

c) einer Nachfiihreinrichtung (50) zum wieder- 
holten Messen der Lokalisierung und Ausrich- 
tung des Bedieners (350), des Patienten (1) und 
der halbtransparenten Bildschirmeinrichtung 15 
(350); und 

d) einer Workstation (100), die mit der Nach- 
f uhreinrichtung (50) gekoppelt ist, um die Lo- 
kalisierung und Ausrichtungen zu empfangen 
und ein Bild aus einem Satz von gespeicherten 20 
Abbildungsdaten zu erzeugen, so daB die inne- 
ren Strukturen auf der halbtransparenten Bild- 
schirmeinrichtung (250) mit den relativen Lo- 
kalisierungen und Ausrichtungen des Bedie- 
ners (350), des Patienten (1) und der halbtrans- 25 
parenten Bildschirmeinrichtung (250) uberein- 
stimmen. 

2. Einrichtung nach Anspruch 1, mit: 

einem medizinischen Abbildungssystem zum Erhal- 
ten von einem dreidimensionalen (3D) Satz von 30 
Abbildungsdaten von inneren Strukturen des Pa- 
tienten (1). 

3. Einrichtung nach Anspruch 1, mit: 

a) einer eindringenden Einrichtung (3) mit ei- 
ner Position und Ausrichtung, die auch durch 35 
die Nachfiihreinrichtung (50) nachgefuhrt 
wird; und 

b) einer Symbolerzeugungseinrichtung (5) zum 
Uberlagern eines Symbols auf der halbtrans- 
parenten Bildschirmeinrichtung (250) zum An- 40 
zeigen der Position und Ausrichtung der ein- 
dringenden Einrichtung (3). 

4. Einrichtung nach Anspruch 3, wobei die Symbol- 
erzeugungseinrichtung (5) eine Einrichtung zum 
Anzeigen eines Strahl umfaBt, der die gegenwarti- 45 
ge Ausrichtung der eindringenden Einrichtung (3) 
und ihren vorgeschlagenen Pfad in die inneren 
Strukturen des Patienten (1) anzeigt 

5. Einrichtung nach Anspruch 1, wobei die Nach- 
fiihreinrichtung (50) eine erste und zweite Position 50 
und Ausrichtung entsprechend jedem Auge des Be- 
dieners (350) bestimmt und die Workstation (100a) 
ein Bild entsprechend der ersten Lokalisierung und 
Ausrichtung erzeugt, mit: 

a) einer zweiten Workstation (100b) zum Er- 55 
zeugen eines zweiten Bilds von inneren Struk- 
turen des Patienten (1) aus den Abbildungsda- 
ten, wie sie aus der zweiten Lokalisierung und 
Ausrichtung gesehen werden; 

b) eine stereoskopische Anzeigeeinrichtung 60 
(252), die mit der halbtransparenten Bild- 
schirmeinrichtung (250) synchronisiert ist, um 
nur einem der Augen des Bedieners (350) zu 
ermoglichen, die halbtransparente Bildschirm- 
einrichtung (250) zu sehen, wenn das erste 65 
computererzeugte Bild angezeigt wird, und 
dem anderen Auge des Bedieners (350) zu er- 
moglichen, die halbtransparente Bildschirm- 
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einrichtung (250) zu sehen, wenn das zweite 
computererzeugte Bild angezeigt wird, wo- 
durch ein dreidimensionales (3D) Bild von in- 
neren Strukturen daruber Qberlagert und au- 
Bere Strukturen des Patienten simuliert wer- 
den. 

6. Einrichtung nach Anspruch 1, wobei die halb- 
transparente Bildschirmeinrichtung (250) eine 
Oberflache besitzt, die aus einem Material besteht, 
auf dem geschrieben und wieder geloscht werden 
kann. 

7. Verfahren zum Unterstutzen eines Bedieners 
zum Durchfuhren eines medizinischen Verfahrens 
bei einem Patienten, mit den Schritten: 

a) Aufnehmen von mehrdimensionalen medizi- 
nischen AbbOdungsdaten von inneren Struktu- 
ren eines Patienten (1); 

b) Auswahlen einer Lokalisierung und Aus- 
richtung zwischen dem Bediener (350) und 
dem Patienten (1); 

c) Positionieren einer freistehenden halbtrans- 
parenten Bildschirmeinrichtung (250) an der 
ausgewahlten Lokalisierung und Ausrichtung, 
um dem Bediener (350) zu ermoglichen, den 
Patienten durch die halbtransparente Bild- 
schirmeinrichtung (250) zu sehen; 

d) Messen von Lokalisierungen (x, y, z) und 
Ausrichtungswinkeln (a, <D, 0) des Patienten 
(1), des Bedieners (350) und der halbtranspa- 
renten Bildschirmeinrichtung (250); 

e) Erzeugen eines computererzeugten Bildes 
der inneren Strukturen aus den medizinischen 
Abbildungsdaten in Obereinstimmung mit den 
gemessenen Lokalisierungen (x, y, z) und Aus- 
richtungswinkeln (a, 0, 9) und 

f) Anzeigen des computererzeugten Bildes auf 
der halbtransparenten Bildschirmeinrichtung 
(250) mit einem gewunschten Grad von Trans- 
parenz, um den Eindruck von inneren Struktu- 
ren uberlagert zum Patienten (1) zu erzeugen, 
um dem Bediener (350) bei dem medizinischen 
Verfahren zu helfen. 

8. Verfahren nach Anspruch 7, wobei der Schritt 
des Aufnehmens von mehrdimensionalen medizini- 
schen Abbildungsdaten in Echtzeit durch ein medi- 
zinisches Abbildungssystem durchgefuhrt wird. 

9. Verfahren nach Anspruch 7, wobei der Schritt 
des Erzeugens eines computererzeugten Bildes den 
Schritt 

a) Erzeugen eines Paars von computererzeug- 
ten Stereobildern der inneren Strukturen aus 
den medizinischen Abbildungsdaten in Ober- 
einstimmung mit den gemessenen Lokalisie- 
rungen und Ausrichtungswinkeln umfaBt; und 
wobei der Schritt des Anzeigens des computerer- 
zeugten Bildes den Schritt: 

Anzeigen des Paars computererzeugter Bilder auf 
der halbtransparenten Bildschirmeinrichtung (250) 
mit einem gewunschten Grad an Transparenz zum 
Erzeugen eines stereographischen Eindrucks von 
inneren Strukturen Uberlagert zum Patienten (1), 
um dem Bediener (350) bei dem medizinischen Ver- 
fahren zu helfen, umfaBt 

10. Verfahren nach Anspruch 7, mit dem Schritt: 
Anpassen des Abstandes und der Ausrichtungswin- 
kel der linken und rechten computererzeugten Bil- 
der, um mit der Ansicht des Patienten (1) durch den 
Bediener (350) Qbereinzustimmen. 
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